对话英特尔副总裁Erez Dagan:自动驾驶引擎盖下的秘密!|《新程序员》
以芯片、摄像头、软件为基石,依托人工智能、大数据等前沿技术,从数据处理、传输、分析到数据安全,纵横于数十年创新经验之上,看半导体巨头英特尔如何布局自动驾驶。
自动驾驶红海时代已至,除了传统汽车制造商,出行平台、互联网科技公司、初创企业纷纷抢滩自动驾驶赛道,欲在这场看不见硝烟的战场率先站上高地。然而,面对道路上拥挤的人群、骑行者、不让分毫的司机等不定因素,路边并排停放车辆、施工、应急车辆行驶等区域,以及隧道、桥梁、陡坡等特殊路段,要达到怎样的水平才能够实现理想状态下的自动驾驶?自动化驾驶技术距离规模化商业化落地还有多远?对于进入该领域的技术人才而言,还有哪些未知的挑战在等待着我们?
今天,《新程序员》对话英特尔公司副总裁、英特尔子公司Mobileye产品及战略执行副总裁Erez Dagan,揭晓全球知名半导体公司英特尔的自动驾驶之路,分享英特尔在以153亿美元(约合1056亿元人民币)收购以色列信息技术公司Mobileye的四年间,基于计算机视觉和机器学习、数据分析、定位和城市路网信息管理等技术赋能高级驾驶辅助系统(ADAS)和自动驾驶智能解决方案落地的实践经验,剖析加速出行即服务(Mobility as a Service,MaaS)发展的种种奥秘。
【小提示】点击下方👇查看专访视频
采访嘉宾:英特尔公司副总裁、英特尔子公司Mobileye产品及战略执行副总裁 Erez Dagan
从半导体到自动驾驶,英特尔正在扩张的版图
据国际数据公司IDC预测,全球自动驾驶市场快速发展,2020-2024年均复合增长率(CAGR)达到18.3%;到2024年,L1-L5级自动驾驶汽车出货量预计将达到约5425万辆,其中L1和L2级自动驾驶在2024年的市场份额预计分别为64.4%和34.0%。
随着人工智能、大数据、云计算的成熟与深度应用,自动驾驶汽车行业进入高速发展期。面向未来,无论是性能还是规模,均呈现指数级上升趋势,对此,有从业者将其生动比喻为“行走的智能手机”。因此,作为全新智能化汽车的幕后推手,半导体公司英特尔进军该领域,也属意料之中。
2017年,英特尔实现自动驾驶布局中的重要一步,宣布以每股63.54美元的价格收购汽车计算机视觉领域的资深玩家Mobileye,在与汽车OEM、一级供应商、半导体厂商建立更深层次合作关系的同时,自研先进的驾驶辅助系统,以及部分自动、全自动的驾驶系统。
四年后,在2021年7月,一辆车身印有Mobileye标志的测试汽车于美国纽约繁华的街头成功开跑,挑战北美拥有最复杂路况的城市(见图1)。“在纽约市这样路况复杂的城市开展路测,是检验自动驾驶系统能力,推动自动驾驶技术商业化落地的关键一步。”英特尔公司高级副总裁、英特尔子公司Mobileye总裁兼首席执行官Amnon Shashua教授如是说道。
与此同时,英特尔公司副总裁、英特尔子公司Mobileye产品及战略执行副总裁Erez Dagan在接受采访时表示,“纽约市的驾驶环境十分复杂,路上有很多专业司机,且每位司机都有自己的驾驶习惯,这也成为我们非常重要的压力测试。”
在当前常见的应用场景下,Erez Dagan表示或许很多人认为自动驾驶和驾驶辅助系统之间并没有太大的区别,但回看其从理念到应用到现实实践,在剧烈的变化过程中,也经历了重重迭代。
图1 Mobileye自动驾驶汽车在纽约市开跑
《新程序员》:作为一项只有十几年发展历程的技术,智能驾驶的发展是怎样的?近两年间,该领域有哪些新的变化或进展?
Erez Dagan:我认为Mobileye在这其中做出了非常重要的贡献,让市场接受用机器学习技术也可以实现一些汽车产品的落地。
事实上,在传统认知中,汽车产品是基于物理模型的技术,如雷达等。因此,在人工智能技术渗透汽车行业初期,它的发展并不顺利,因为人工智能虽然已验证其自身足够安全,但它还需要证明使用人工智能机器学习可以实现比基于模型的技术更具市场价值和更优越的性能,而这需要不断地落地实践,以便与车厂(OEM)建立良好关系。这一点,我认为是智能驾驶行业发展历程中最重要的一步。
另外智能驾驶还有一大突破就是,OEM从传统的价值链结构转变为更加动态的合作结构,由此他们可以直接接触到很多颠覆性技术。
Mobileye三位一体的战略布局
《新程序员》:从芯片到高精地图、自动驾驶系统,Mobileye如何赋能车企?
Erez Dagan:Mobileye主要采用了三位一体的战略布局:其一,加大对路网信息管理™(REM™)高精地图技术的扩张;其二,加强基于规则的责任敏感安全模型(RSS)驾驶策略;其三,基于全球领先的摄像头、雷达和激光雷达技术打造的两个独立、真正冗余的传感子系统。
这也是英特尔与其他厂商自动驾驶技术解决方案的不同之处。同时,在三位一体的战略布局以及自动驾驶系统研发过程中,还包含以下一些值得注意的重要因素。
众包高精度地图。它是自动驾驶系统中接收数据的一个重要方面。汽车厂商往往希望获得能够覆盖任何地区的高精地图。
系统冗余。Mobileye设计开发了两套独立的感知系统:一套完全基于摄像头;另一套由激光雷达和雷达组成,“至少可以达到超过人类驾驶员三个数量级的关键安全性能”。这是极具挑战性的尝试,用来解决跨越人类范畴的故障,以此带来完全自主的驾驶体验。
RSS(Responsibility Sensitive Safety,责任敏感安全模型)。它是一套通过数学公式定义的驾驶决策模型,通过制定一系列逻辑上可行的规则和有关适当应对危险情景的规定,明确了自动驾驶汽车怎样才算真正做到安全驾驶。这对于Mobileye动态地驾驭挑战性的环境与道路的能力也非常重要。
《新程序员》:真正冗余(True Redundancy)是将纯视觉、雷达和激光雷达这两个系统分开,那么,它是如何工作的?
Erez Dagan:“真正冗余”指的是感知系统包含多个独立工作的子系统,每个子系统都可以独立支持自动驾驶。当然,可以通过协同融合的方式,用两种方式实现,这意味着你可以使用所有不同传感器的数据,从零开始组合基础信息,以尽可能创建最佳的环境模型。
或者也可以依托于不同的子系统,将纯视觉、雷达和激光雷达两个系统独立使用,而每个环境模型都有独立的故障模型。当发生故障时,因为不同的子系统使用的是独立的传感器,其感知也是相互独立的,基于这一点,可以大大降低故障率。
《新程序员》:也就是说,当一个系统故障时,另一系统将接管所有的事情,以此确保驾驶过程的安全?
Erez Dagan:当我们谈论系统故障时,往往可以分为两种类型:一种是功能故障,指的是电气故障;另一种是软件故障。与之相对应的是,我们可以称之为FuSa(Functional Safety,功能安全)和SOTIF(Safety Of The Intended Functionality,预期功能安全)。其中,FuSa主要涉及电气或硬件类型的故障,SOTIF与FuSa形成互补关系,即功能安全未能考虑到的一些安全问题将由预期功能安全做补充。
《新程序员》:这相当于是结合了摄像头、计算机视觉和雷达、激光雷达等传感器的组合解决方案?
Erez Dagan:是的,这是一套完善的解决方案。在ADAS(Advanced Driver Assistance System,高级驾驶辅助系统)中,Mobileye的EyeQ芯片内嵌了计算机视觉算法,以此建立对外部环境的感知。在基础的ADAS功能之上,结合环视摄像头输出的感知模型,以及定位、驾驶策略和RSS(安全层),共同构建出一套我们称之为“SuperVision”的L2+ADAS系统,该系统可实现解放双手且在高速公路驾驶,同时还具备自动泊车功能。这些功能都支持OTA(Over The Air,空中升级)能力,能够像iPhone一样实时更新。
在SuperVision上就是我们的自动驾驶系统SDS。它增加了雷达和激光雷达感知层,能够实现“真正冗余”。基于SDS,我们规划了VaaS(Vehicle-as-a-Service,汽车即服务),它包括了车辆集成控制、数字车队运营平台以及智慧出行平台等。
为了提升驾驶体验,英特尔去年还收购了一家出行方案提供商Moovit,提供端到端的出行服务,并计划明年在以色列推出自动驾驶网约车试点服务。
《新程序员》:在智能网联汽车时代,各种数据量也呈现井喷式发展,对于采集到的数据,Mobileye是如何处理的?
Erez Dagan:就众包地图而言,搭载了Mobileye EyeQ芯片,在路上行驶的数百辆汽车为我们的AV Map提供了丰富的动态数据。这些数据在边缘端进行处理的(也就是我们的车里),之后经过压缩上传至云端。我们并不会直接将视频数据上传,因此大幅缩减了通信带宽(平均小于10kb/km)。
《新程序员》:汽车与人的生命息息相关,在研发的过程中,英特尔也提出了“零伤亡”的愿景,带来了责任敏感安全模型(RSS),其如何为安全保驾护航?
Erez Dagan:就像我之前提到的,RSS模型好比一个数字版合同,它通过数学公式将人类安全驾驶的常识进行数字化,提供了在实际驾驶过程中解决可能发生冲突的思路,能够为自动驾驶决策提供安全保障。RSS定义了车辆主体的责任,保证自动驾驶汽车不会成为引起事故的一方。假设并线这个行为有可能导致事故发生,那么在RSS框架下,自动驾驶汽车就不会做出这一驾驶策略。
《新程序员》:RSS会成为新的行业标准吗?
Erez Dagan:RSS对于行业而言,有着巨大的吸引力。我们加入了IEEE委员会,与中国交通运输部下属的标准制定机构“中国智能交通产业联盟”IPS建立合作,截至目前,已经取得了非常好的进展。其中,IEEE委员会中超过25家自动驾驶行业相关公司也正在将RSS框架纳入其决策模型中。未来我们也会共同合作将这套透明、可验证的决策模型标准化。
竞争愈发激烈的自动驾驶赛道,未来还有哪些挑战?
《新程序员》:自动驾驶经过多年的发展,目前我们仅达到了L2级别,你认为是什么阻碍了实现完全的自动驾驶?
Erez Dagan:导致这种现状或许可以从以下几层因素来考虑:
一些非汽车行业的玩家,在进入这个行业之前,必须要了解它所涉及的生产汽车产品、自动化产品的资格标准和成本因素。
经过深度的调查,我们发现,很多车企正在为消费级自动驾驶汽车(AV)消费者制定计划,不仅包含了L2+级别的汽车,还有为终端客户销售L4级别自动驾驶汽车的计划。这些数据告诉我们,很多厂商已经认识到自动驾驶无论从技术还是商业化成本来看,已开始逐渐走向成熟。
当前,我并不认为自动驾驶是令人失望的,但是我相信未来自动驾驶大规模落地的过程中,只有少数与汽车行业和汽车产品市场关系密切的参与者才能以经济可行的方式达到终点线。
《新程序员》:在中国,越来越多的企业开始从事电动汽车生产,与此同时,也有更多的企业提供自动驾驶的底层技术支持,你如何看待这种情况?
Erez Dagan:中国市场呈现出的这种独特现象,给科技的爆发式增长创造了非常棒的土壤。对Mobileye而言,市场参与者越多,市场效率越高,这也有利于我们的产品通过各种不同的渠道实现销量增长。从造车角度来看,造车是一个差异化和效率的游戏。就高级驾驶辅助系统而言,有一点,我们需要保持非常清醒的认识,这是一套复杂且关键的系统。它的复杂性和重要性需要利用已建立的供应商基础,并通过多个进入市场(Goto-market)的渠道来进行验证。
另外,随着该领域的技术参与者越来越多,可以不断完善自动驾驶技术和监管框架,为市场注入能量。如今非传统参与者正在与传统的汽车生态系统合作。我相信,在这个行业中,每个人都会从中受益。
《新程序员》:当前,自动驾驶还存在怎样的挑战?
Erez Dagan:其实,自动驾驶要实现规模化量产还面临几个方面的挑战:
提高自动驾驶系统的计算密度;
在一致性方面,需要深度神经网络的加持与飞跃性发展;
关于驾驶的地理可扩展性的问题上,即使依赖高精度地图,也需要开发众包地图功能;
自动驾驶的安全概念及其安全性在得到不断验证的同时,也需要与社会的发展实现共存,而这是一个持续性过程。
《新程序员》:Mobileye在CES 2021上曾透露,2025年将实现消费级别的自动驾驶,那么当前的挑战是什么?
Erez Dagan:监管框架(Regulatory Framework)是亟须解决的最大问题之一。目前中国和德国在自动驾驶相应法规的起草和执行上走在其他国家前列,为其他地区的政策落实起到了良好的示范作用。
第二个需要克服的重要挑战是,无人驾驶或自动驾驶的地理可扩展性(Geographic Scalability ),能够在任何地方实现自动驾驶,我们看到,欧洲和中国正在朝着正确的方向迈出非常重要的一步。
第三个要素是自动驾驶系统的验证。在正式投放市场之前,需要对自动驾驶系统进行测试与验证。无论是极高还是极低的故障可能性,都需要测试生成一种适合此特定问题的验证技术。其中包含了对系统架构的考虑,需要确保整套系统从设计之初就考虑了验证测试需求。
对当代开发者的建议
《新程序员》:你希望未来在汽车领域看到什么样的人才?
Erez Dagan:自动驾驶是机器学习的领域。但我也非常期待看到更多的统计信号处理、控制系统、物理等方面的人才。在未来的激光雷达解决方案中,射频级模拟技术、射频、材料物理和光电都是不可或缺的技术。
《新程序员》:你对于想要进入汽车行业的开发者有什么样的建议?
Erez Dagan:首先,如果开发者想要进入汽车行业,毫无疑问,这是一个很好的选择,因为汽车行业是一个非常有前景的市场。一定程度上,可以将自动驾驶的车辆看作机器人,亦或者称之为第一批商业化制造的大型机器人,其内部蕴藏着巨大的奥秘与机会。
从技术维度来看,机器学习必然是开发者学习的主要方向,但并不是唯一方向。统计信号处理、控制系统、围绕新传感设备的物理学等领域也为想要进入该行业的开发者们提供了一个非常丰富的技能库。
本文出自《新程序员·新数据库时代& 软件定义汽车》,即将正式上市!
2018 年图灵奖得主、深度学习三巨头之一Yann LeCun(杨立昆),2020年图灵奖得主、龙书《编译原理》作者Jeffrey Ullman,英特尔副总裁Erez Dagan,阿里巴巴集团副总裁李飞飞,腾讯自动驾驶总经理苏奎峰……《新程序员》第二期,我们以「软件定义汽车 & 新数据库时代」为主题,邀请国内外60余位学术领航人、技术大咖与产业先锋,为智能驾驶及数据库产业奉上酣畅淋漓的理论交锋及实战演练。
软件如何定义汽车?在IEEE 特约编辑Robert N. Charette的深度分析下,他将这一趋势刻画为“吞噬”!而英伟达则认为要将无人驾驶软硬件栈进行结合思考和实践。此外,“造车新势力三杰”——蔚来、小鹏、理想也纷纷到场,他们如何完成“电动化、网联化、智能化、共享化”的四化转型?我们拭目以待。
扫描下方二维码,添加小助手,即刻加入《新程序员002》「读者群」,抢先一步获取杂志最新资讯,精彩内容不再错过。
《新程序员》立足于行业前沿,深度探索技术未来,通过音视频、图文专栏等丰富的多媒体形式为载体,全方位解读技术与产业,为中国开发者打开新时代的技术之门。
60位+ 技术大咖的经典观点与实践干货; 34篇 精彩文章; 13个 配文视频; 1000位+ 技术人才共同学习成长; 2张 开源核心技术全景工具收藏图。